推理

港科大团队&

这项由香港科技大学的刘俊腾博士、MiniMax公司的李云霁博士以及滑铁卢大学的陈文虎教授等研究团队合作完成的研究发表于2025年9月,论文详细介绍了一种名为WebExplorer的全新训练方法。有兴趣深入了解的读者可以通过GitHub项目页面(https://

模型 推理 港科大 港科大团队 webexplorer 2025-09-24 21:09  7

GitHub 总计超 77,000 Star,大模型推理框架 vLLM、SGLang 是如何炼成的?

大语言模型(LLM)的训练过程因巨大的计算需求和突破性的成果而备受关注,然而决定这些模型在现实世界中实用性和广泛采用的关键,却是在推理(Inference)阶段的效率、成本和延迟。推理的定义是,一个经过训练的 AI 模型将其学到的知识应用于全新的、未见过的数据

模型 推理 github vllm sglang 2025-09-24 12:34  9